多策略融合的俄语文本词语提取方法研究

俄语是联合国工作语言之一,是俄罗斯等多个国家的官方语言。随着“一带一路”倡议的推进和全球化进程的加快,俄语文本数据成为有关组织管理决策的重要信息来源,俄语文本挖掘也因而成为重要的管理决策支持方法。然而,俄语文本挖掘方法研究目前还远未成熟,尤其是其关键基础——俄语文本词语提取的性能较低,阻碍着俄语文本建模的准确性。因此,文章提出一种多策略融合的俄语文本词语提取方法,结合俄语词性分析、语法规则和串频统计等多种方法,自动提取包含单词和短语在内的俄语词语。在联合国平行语料库和Taiga Corpus语料库上的实验结果表明,文章提出的方法在保证高召回率的同时,达到了85%以上的高准确率,显著优于常用的n-gram方法,能够为俄语文本主题发现和文本分/聚类等文本挖掘应用提供有效的词库。     

基于频繁项集分类统计的增量式关联规则应用

针对商业交易数据构成项目繁多、动态数据增加量大、历史数据量更大的特点,根据频繁项集的商业特征,分为新生、成熟、老化、过期4种类型并分类统计;提出了基于分类统计增量地挖掘新增业务数据中关联规则的算法,算法只需两次扫描新增数据库,无需扫描历史数据库,算法将发现的规则按照其反应的商业特征分为4种类型:新生规则、成熟规则、老化规则、过期规则,在提升规则内容识别效率的同时,强化规则特点的识别能力。     

基于FP_tree的最大频繁模式挖掘算法的改进

基于条件模式树的最大频繁模式挖掘算法在挖掘过程中将扫描事务数据库两次,且产生了大量的候选项目集,产生最大频繁模式过程中比较次数较多,总体效率较低.提出改进后的最大频繁模式挖掘策略,利用二维表保存事务出现项目的情况,通过最大频繁模式的相关性质减少了挖掘的项数及产生的频繁模式集,减少比较的次数.     

数据流挖掘技术研究

随着数据流系统、传感网络和移动设备的广泛传播,数据流中的数据分析与挖掘技术应运而生。对数据流挖掘算法进行分析和总结,指出数据流分析与挖掘技术存在的缺陷及进一步的研究方向。     

关联规则挖掘技术在冠心病诊断中的应用

针对传统的关联规则算法挖掘效率低且产生的频繁项集庞大的缺陷,提出一种改进的基于直接频繁闭超项集理论的关联规则挖掘算法。该算法针对候选频繁闭项集具有快速检测闭合性和缩减查找范围的优势,有效地提高了挖掘效率。在冠心病诊断中的应用结果表明,该算法可有效地挖掘冠心病诊疗规则。     

基于踪迹挖掘的自动缺陷警报分类方法

缺陷检测一般包括静态分析与人工确认两个阶段.静态缺陷检测工具报告大量警报,但是主要的警报确认工作仍然由人工完成,这是一件费时费力的工作.巨大的确认投入,会导致测试人员和管理人员拒绝使用该静态检测工具.为了辅助警报确认工作,提出一种基于警报踪迹挖掘的警报分类方法,使用该方法挖掘警报踪迹进而将代码结构相似警报分为一类,使得分类后的最终警报报告更加易于人工确认.实验表明,该方法能够在较大规模的软件测试过程中分类测试结果,提高警报确认效率.     

基于音乐基因的乐谱存储模型

本文提出一种基于音乐基因的乐谱存储模型S-MusicXML.将乐谱的存储和处理的基本单位由音阶提升到基因,有利于通过数据挖掘技术对音乐内涵的挖掘和存储.定义了旋律基因等概念,并通过实验进一步分析了挖掘音乐基因比挖掘音乐频繁模式更有优势.     

一种改进的基于超网络的高维数据聚类算法

高维数据聚类问题是当前聚类分析研究的重点。笔者提出了一种改进的基于超网络的高维数据聚类算法。首先,将高维数据映射到一个大规模带权超网络中;其次,定义超网络中边的权重;再次,采用优化的超图划分方法划分带权超网络;最后实现高维数据聚类。这样有效过滤掉聚类中的噪声数据,避免了传统聚类方法在降维过程中产生的弊端。实验证明,该算法具有较理想的有效性和精确度。     

基于兴趣度的数据流频繁模式散列挖掘算法

频繁模式挖掘是很多数据流挖掘工作的基础.现有算法虽然能够有效的在数据流中挖掘近似的频繁模式, 但是由于数据流数据的不确定性、连续性以及海量性, 始终不能有效的将算法的时间效率和空间效率控制在一个可以接受的范围内. 本文通过使用散列表作为概要数据的存储结构, 并引入关联规则兴趣度的概念, 提出了数据流频繁模式挖掘算法MIFS-HT(mining interesting frequent itemsets with hash table), 不仅有效降低现有算法的时空复杂度, 同时提高了算法的应用价值. 最后, 实验结果表明: MIFS-HT是一种高效的数据流频繁模式挖掘算法, 其性能优于FP-Stream、Lossy Counting等算法, 并且挖掘结果更具有现实意义.     

基于标准编码的有向标记频繁子图挖掘算法

针对大部分频繁子图挖掘算法,基于无向图而不适用于更具有实际意义的有向图的挖掘的现状,通过对无向图挖掘算法gSpan中编码结构的扩展,采用改进的规范形式,使编码适用于有向图领域。并使用针对有向图的DADI++存储结构来存储图集,简化了数据访问操作的代价。另外在挖掘中使用Hash表存储同构图的Hash地址和支持度,避免对图集的重复扫描和直接的同构测试。在实际数据集上运行的实验结果表明提出的Dspan算法是正确的,并比FFSM算法效率更高。